Chùa được sư Gyōki xây dựng vào thời kỳ Nara (710 -794), khi nơi đây được dùng làm nơi thờ Phật A-di-đà. Truyền thuyết kể rằng có những vị sư uyên thâm như Kudai, Honen đã từng tu hành tại đây. Năm 1339, thiền tăng đồng thời là nghệ nhân làm vườn nổi tiếng Muso Soseki đã trùng tu Saihō-ji thành một Thiền viện. Từ đó đến nay, chùa hầu như không thay đổi gì nhiều. Năm 1994, tổ chức UNESCO đã công nhận Saihō-ji là một hạng mục của Di sản văn hóa thế giới Cố đô Kyōto, là "Ngôi đền lịch sử của cố đô Kyoto".[1]